Bắt đầu tổ chức Công đồng, Giáo hoàng Gioan XXIII đang bị bệnh ung thư ruột và trong những tháng cuối cùng thật là khốn khổ. Tuy vậy ông đi cho đến đoạn đường cuối cùng trong cái vui hài hước và khiêm nhường:

Suốt một tháng, toàn thế giới theo dõi cơn hấp hối của Giáo hoàng Gioan XXIII, cho tới khi ông qua đời ngày 3 tháng 6 tại Rôma, Ý. Ông hưởng thọ 82 tuổi và được mai táng trong hầm mộ Vương cung thánh đường Thánh Phêrô tại Rôma.

Trong chúc thư của mình, ông viết:

"Sinh trưởng trong sự nghèo nàn, ở một gia đình giản dị nhưng được trọng kính, tôi rất sung sướng được chết trong sự nghèo nàn, vì theo sự đòi hỏi và các trường hợp sinh sống của đời giản dị và hèn mọi của tôi, tôi đã phân phát cho người nghèo và cho Giáo hội đã nuôi dưỡng tôi, những gì ít ỏi của tôi đã có, trong những năm làm linh mục và Giám mục".

Trong những lời chia buồn gửi về Vatican người ta nhận thấy có điện văn của Tổng thống Hoa Kỳ, Tổng thống Pháp, Nữ hoàng Elizabeth II và của ông Cút-xếp, một lãnh tụ của Cộng sản Quốc tế. Ngoài ra Tổng thu ký Liên Hợp Quốc và nhiều lãnh tụ của Phật giáo, Tin Lành, Chính Thống giáo Đông phương,... than tiếc thế giới vừa mất đi một vĩ nhân và một người lãnh đạo đầy nhân hậu.